Semenjak ketibaan Islam ketika Dinasti Tang (yang bermula pada pertengahan abad ke-7), ramai penutur bahasa Arab dan Parsi berhijrah ke China. Berabad-abad kemudian, golongan pendatang ini berasimilasi dengan orang Cina Han pribumi, maka terbentuknya etnik Hui hari ini. Ramai pelajar China beragama Islam menghadiri madrasah untuk mengkaji bahasa Arab klasik dan al-Qur'an. Oleh sebab pemahaman pelajar-pelajar ini terhadap tulisan Cina terhad, malah lebih fasih bahasa lisannya semenjak berasimilasi, maka mereka menyesuaikan abjad Arab untuk bahasa Cina, selalunya melalui kaedah mencatat dalam bahasa Cina untuk membantu menghafal surah. Cara ini juga digunakan untuk menulis terjemahan Cina dari kosa kata Arab yang dipelajari di madrasah. Oleh itu, lambat-laun terbentuklah satu sistem penulisan bahasa Cina dalam abjad Arab yang diselaraskan. Kini, artifak dikenali terlama yang ditinggalkan catatan Xiao'erjing ialah sebuah batu bersurat di halaman Masjid Xigang di Universiti Xi'an di wilayah Shaanxi. Batu ini mencatat rangkap-rangkap al-Qur'an dalam bahasa Arab di samping catatan kecil nama-nama pengukirnya dalam tulisan Xiao'erjing. Batu tersebut dicatat pada tahun 740 Hijrah (antara 9 Julai 1339 dan 26 Julai 1340).